WhisperRec: Latent Reasoning for Efficient Foundation Recommendation Models
WhisperRec：用潜在推理压缩思维链，实现高效基础推荐模型
🧭 生成式推荐 · 潜在推理 Semantic ID ★ 深度解读
Kuaishou Technology
将显式思维链压缩为可学习的潜在 token，在保持推理语义的同时提升 10 倍以上吞吐量
📌 工作参考价值（4 点）
- 用潜在 token 代替长文本 CoT：在需要 LLM 推理的推荐系统中，避免生成繁杂的自然语言解释，直接插入少量可学习 latent token，推理延迟接近无 CoT 模型，吞吐量提升 >10 倍，适合在线低延迟场景。
- 多视角自适应 CoT 构造高质量监督：从探索（开放意图发现）、评估（候选打分）和归因（转化证据）三个视角构造互补推理轨迹，并结合行为信号强度自适应调整推理深度，避免简单样本过度推理和困难样本分析不足。在电商广告推荐中可借鉴此思路，用业务规则定义不同视角的推理模板。
- 三阶段潜在推理对齐：先单视图对齐，再多视图对齐，最后推荐导向上下文对齐，逐步将大教师模型的 CoT 知识内化到 latent token 中。该方法可用于将复杂推理能力从大模型蒸馏到线上部署的小模型，工程上可结合 KV cache 复用进一步降低开销。
- 基于课程的多阶段后训练：从高活跃用户到低活跃用户的课程式微调，缓解稀疏行为下的推荐效果退化。在用户冷启动或行为稀疏的业务中，可迁移此策略提升模型鲁棒性。